Derivative of Matrix

一元微积分中的导数与微分的关系: $df = f'(x)dx$

多元微积分中的梯度(列向量)与微分的关系: $df = \sum_{i=1}^n \frac{\partial f}{\partial x_i}dx_i=\frac{\partial f}{\partial \textbf{x}}^Td\textbf{x}$ 第一个等号是全微分公式，第二个等号表达了梯度向量($n \times 1$)与微分向量($n \times 1$)的内积是全微分。由此，我们知道$df=\sum_{i=1}^m\sum_{j=1}^n\frac{\partial f}{\partial X_{ij}}dX_{ij} = \trace(\frac{\partial f}{\partial X}^TdX)$

第一个等号是全微分公式，第二个等号建议在纸上推导一遍，因为$\trace(A^TB)=\sum_{i,j}A_{ij}B_{ij}=\sum_{i=1}^m\sum_{j=1}^nA_{ij}B_{ij}$ 所以说照葫芦画瓢能够得到。（这里可以侧面说明线性代数中定义$tr(A^TB)$为矩阵内积的合理性）

创建矩阵微分的运算法则矩阵求导.pdf by 6ch.